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(57) Abstract 

The invention relates to a device for detecting an object 
mat is radiated by waves in the invisible spectral range. 
Preferably, infra-red radiation is used in order to enable a 
user to recognize an object on a display, projected onto a 
surface, represented in the visual range for a user, and track the 
movement of said object Computer generated user surfaces 
can thus be projected onto a background. Hand movement or 
another input unit enables contactfree input data to appear on 
said surfaces, wherein the triggering of an action is coupled 
to a given time lapse in a field which is linked to a control 
characteristic. 

(57) Zusanunenfassung 

Die Erfindung betrifft eine Anordnung zur Detektion 
eines Objekts, das von Wellen im nichtsichtbaren 
Spektralbereich angestrahlt wird. Es wird vorzugsweise 
Infrarot-Beleuchtung verwendet, urn auf einer auf eine 
beliebige Oberflache projizierten Anzeige, die fur den 
Benutzer im sichtbaren Spektralbereich dargestellt wird, 
ein Objekt zu erkennen und die Bewegung dieses Objekts 
verfolgen zu konnen. Somit lassen sich auf beliebigen 
Hintergrund von einem Rechner erzeugte Benutzeroberfiachen 
projizieren. Auf diesen Benutzeroberfiachen kdnnen 
beruhrungslos Eingaben erfolgen durch Bewegung der Hand 
oder einer anderen Eingabeeinheit, wobei die Auslosung 
einer Aktion an ein Verharren fur eine vorgebbare Zeitdauer 
uber einem mit einer Kontrollcharakteristik verknQpften Feld 
gekoppelt ist 
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Beschreibung 

Anordnung und Verfahren zur Detektion eines Objekts in einem 
von Wellen im nichtsichtbaren Spektralbereich angestrahlten 
Bereich 

Die Erfindung betrif ft eine Anordnung und ein Verfahren zur 
Detektion eines Objekts in einem von Wellen im 
nichtsichtbaren Spektralbereich angestrahlten Bereich. 

Im Rahmen der Mensch-Maschine-Interaktion ist es 
wUnschenswert, wenn mittels eines Rechners verschiedene 
Gliedmafien, wie beispielsweise Kopf Oder Hand, oder auch 
abstrakte Gegenstande, wie beispielsweise ein Zeigestab, 
erkannt werden. Genligt die Erkennung einer 

Echtzeitanforderung, so konnen (Teil-) Bewegungen der Objekte 
detektiert werden, bzw. Gesten erkannt werden. Eine mogliche 
Anwendung ist eine Projektion einer von einem Rechner 
erzeugten Benutzeroberf l&che auf einen vorgebbaren Bereich. 
Der Benutzer agiert auf der Benutzeroberf lache bertihrungslos, 
indem er eine Eingabeeinheit (Finger, Hand oder Zeigestab) 
auf eine Kontrollf l&che (Schalter der Oberf lache) bewegt. 

Ein Verfahren zur Gestenerkennung ist zum Beispiel aus [1] 
bekannt . 

Weiterhin ist eine Projektion mit Gestenbedienung nach [2] 
oder [3] bekannt. 

Bei alien bekannten Verfahren erfolgt die Auswertung der 
Geste im sichtbaren Spektralbereich. Dabei besteht zum einen 
das Problem, dafi die Projektion von dem Objekt, das die Geste 
ausftihrt, unterschieden werden muB, zum anderen konnen die 
Farbe des Hintergrunds, auf den die Projektion erfolgt, und 
der Grad der Umgebungshelligkeit die Detektion deutlich 
erschweren bis unmoglich machen. 
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Die Aufgabe der Erfindung besteht darin, eine Detektion eines 
in einen projizierten Bereich eingebrachten Objektes zu 
ermoglichen, wobei vermieden wird, dafi sich Projektion und 
5 Aufnahme gegenseitig beeinf lussen . 

Diese Aufgabe wird gemafi den Merkmalen der unabhangigen- 
Patentansprliche gelost. 

10 Urn ein Objekt in einem vorgebbaren Bereich zu detektieren, 

wird es dazu von Wellen, deren Wellenlange im nichtsichtbaren 
Spektralbereich liegt, angestrahlt. Eine Empf angseinrichtung 
ist speziell fur einen den Wellen entsprechenden 
nichtsichtbaren Spektralbereich abgeglichen und nimmt demnach 

15 nur Wellen in diesem Spektrum auf. Das zu detektierende 
Objekt reflektiert die Wellen auf eine andere Art (z.B. 
absorbiert die Haut Inf rarotlicht starker als anorganisch- 
glatte Materialien) als der Hintergrund. Demnach konnen die 
von der Empf angseinrichtung auf genommenen Wellen mittels 

20 eines Erkennungsalgorithmus das Objekt entdecken und die mit 
dem Objekt verbundene Bewegung detektieren. 

Eine Weiterbildung der Erfindung besteht darin, eine 
Inf rarotlichtquelle zur Emission der Wellen im 
25 nichtsichtbaren Spektralbereich zu verwenden. Dabei kann die 
Infrarotlichtquelle realisiert sein als entweder mindestens 
eine Inf rarotleuchtdiode oder mindestens eine GlUhbirne mit 
vorgeschaltetem Inf rarotf ilter . 

30 Zweckmafiig ist die Empf angseinrichtung als Kamera 

ausgestaltet . Bei Verwendung der Infrarotlichtquelle ist es 
vorteilhaft, die Kamera mit einem Filter, das nur flir 
Infrarotlicht durchlassig ist, auszugestalten. Eine weitere 
zweckmafiige Anwendung besteht darin, die Kamera, falls 

35 Infrarotleuchtdioden als Infrarotlichtquelle benutzt werden, 
mit einem Filter zu versehen, das nur im speziellen 
Spektralbereich der Infrarotleuchtdioden empfindlich ist. 
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Weiterhin ist es vorteilhaft, wenn das vorgebbare Gebiet von 
unten mit Inf rarotlicht durchleuchtet wird, wobei im 
sichtbaren Spektralbereich die Proj ektionsf lache 
5 ref lektierend und im Inf rarot-Spektralbereich durchlassig 
ausgestaltet ist, 

Schliefilich ist es vorteilhaft, wenn eine Einheit, die die 
Wellen im nichtsichtbaren Spektralbereich aussendet mit der 
10 Empfangseinrichtung (Kamera) auf der gleichen optischen Achse 
liegt. 

Ferner ist es zweckmafiig, wenn auf dem angestrahlten Bereich 
die Oberflache entweder aus Ref lexgewebe, aus Reflexfilm, 
15 Oder aus speziellem Gewebe mit prismenbeschichteter 
Oberflache besteht. 

Ferner kann die Erfindung auch eingesetzt werden, wenn 
anstelle von Inf rarotlicht Ultraschall oder ultraviolette 
20 Strahlung verwendet wird. Die Empfangseinrichtung ist dabei 
jeweils ftir Ultraschall oder fiir ultraviolette Strahlung 
spezifisch auszulegen. 

Zweckmafiig ist ein Verfahren zum Betrieb der Erfindung 
25 derart, dafi auf den Bereich ein Videobild, das von einem 

Rechner generiert wird und liber mindestens ein Feld mit einer 
Kontrollcharakteristik verftigt, projiziert wird. In diesen 
projizierten Bereich wird das Objekt bewegt und die 
Kontrollcharakteristik wird durch dieses Objekt ausgelost, 
30 indem das Objekt fiir eine vorgebbare Zeitdauer auf dem mit 
der Kontrollcharakteristik verkniipften Feld verharrt. Das 
Objekt kann zweckmafiig ein Finger, eine Hand oder ein 
Zeigestab sein. Weiterhin kann mit dem Objekt ein Mauszeiger 
oder ein sonstiger Eingabezeiger assoziiert sein, der durch 
35 Bewegung des bspw. Fingers, oder allgemein des Objekts das 
fiir die Eingabe verwendet wird, iiber das projizierte Gebiet 
bewegt wird. 
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Die Projektion kann auch auf eine Leinwand erfolgen. Eine 
Eingabe geschieht durch Deuten mit einem vorgebbaren Objekt 
auf diese Leinwand, indem von einem Rechner mindestens ein 
5 Feld mit einer Kontrollcharakteristik auf die Leinwand 

projiziert wird und das Eingabeobjekt fttr eine vorgebbare 
Zeitdauer liber diesem Feld verharrt. Hierbei sei angemerkt, 
dafi ohne Einschrankung ftir das in dem projizierten Bereich 
bewegte Objekt beispielhaft eine Hand, ein Finger, oder ein 
10 Zeigestab angenommen werden kann. 

Weiterbildungen der Erfindung ergeben sich aus den abhangigen 
Anspruchen. 

15 Anhand der folgenden Figuren wird ein Ausf Uhrungsbeispiel 
naher dargestellt. 

Es zeigen 

20 Fig.l ein Blockdiagramm, das die Schritte des 
erf indungsgemafien Verfahrens enthalt und 

Fig. 2 eine Skizze, die die prinzipielle Anordnung einer 
moglichen Realisierung der Erfindung darstellt. 

25 

In Figur 1 wird dargestellt, welche Schritte das 
erfindungsgemaiie Verfahren umfafit. In einem ersten Schritt la 
wird ein vorgebbarer Bereich mit Wellen im nichtsichtbaren 
Spektralbereich angestrahlt. Eine Empf angseinrichtung, die 

30 vorteilhaft vor allem die emittierten Wellen im 

nichtsichtbaren Spektralbereich aufnimmt, empfangt die von 
dem angestrahlten Bereich ref lektierten Wellen. Wird ein 
vorgebbares Objekt in den angestrahlten Bereich bewegt, so 
werden die von dem Objekt ref lektierten Wellen mittels eines 

35 Erkennungsalgorithmus unterschieden von den anderen in dem 
Bereich ref lektierten Wellen (Schritt lb) . Schliefilich wird 
das Objekt im Schritt lc detektiert (identif iziert) • Verharrt 
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nun dieses als Eingabeeinheit erkanntes Objekt fUr eine 
vorgebbare Zeit auf einem mit einer Kontrollcharakteristik 
verknttpften Feld, das auf den Bereich projiziert wird, so 
wird die Kontrollcharakteristik, vergleichbar dem Klicken mit 
5 einer Maus auf ein dafur geeignetes Feld, ausgelost. 

In Figur 2 wird eine mogliche erf indungsgemafie Anordnung, 
ohne daft eine einschrankende Wirkung beabsichtigt ist, anhand 
eines Virtual-Touch-Screens beschrieben. Eine 

0 Benutzeroberf lache BOF wird auf einen vorgebbaren Bereich, 
hier ein Projektionsdisplay PD, abgebildet. Das 
Projektionsdisplay PD ersetzt in diesem Fall einen 
konventionellen Bildschirm. Die Eingabe erfolgt durch 
direktes Zeigen, in Fig. 2 angedeutet durch die Hand H, auf 

.5 die Benutzeroberf lache BOF, Dadurch konnen beispielsweise 
Tastatur, Maus, Touchscreen oder Digitalisiertablett 
konventioneller Systeme ersetzt werden. Die Erkennung der 
Gesten, sowie die Positionierung innerhalb der 

Benutzeroberf lache BOF werden durch ein videobasiertes System 
10 (Gestik-Computer) , das in der Lage ist, Projektion und Form 
z.B. der menschlichen Hand in Echtzeit zu erkennen und zu 
verfolgen, realisiert (beschrieben beispielsweise in [1] oder 
[2]). 

25 Im Beispiel, das in Figur 2 dargestellt ist, wird das 
Projektionsdisplay mit Inf rarotlicht beleuchtet. Die 
Inf rarotlichtquelle IRL kann vorteilhaft mittels 
Infrarotleuchtdioden ausgefUhrt sein. Eine Kamera K, die 
vorzugsweise mit einem speziellen Inf rarotf ilter IRF, das im 

30 infraroten Spektralbereich empfindlich ist, ausgestaltet ist, 
nimmt das Projektionsdisplay PD auf. Mit einem Projektor P, 
der von einem Rechner R gesteuert wird, wird die 
Benutzeroberf lache BOF auf das Projektionsdisplay PD 
abgebildet. Die Benutzeroberf lache BOF kann dabei 

35 ausgestaltet sein wie bspw. ein Meniisystem auf einem Monitor 
des Rechners R. Ein Mauszeiger MZ wird jetzt nicht mit einer 
herkommlichen Eingabevorrichtung, wie beispielsweise einer 
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optischen oder mechanischen Maus Oder eine Trackballs/ 
bewegt, sondern durch die Hand H des Benutzers. Anstelle der 
Hand H kann bspw. auch ein Zeigestab verwendet werden. Soil, 
wie hier im Beispiel, auf der Benutzeroberflache BOF die 
5 Kontrollcharakteristik eines Feldes F aufgerufen werden, so 
wird die Hand H liber das Feld F bewegt, wobei der Mauszeiger 
MZ der Hand H folgt. Verharrt die Hand H fUr eine vorgebbare 
Zeitdauer Uber dem Feld F, so wird die mit dem Feld F 
verknupfte Kontrollcharakteristik auf dem Rechner R 
10 ausgelost. 

Die Erfindung' ermOglicht es also, die Projektion, hier die 
Benutzeroberflache BOF, ohne EinfluB auf die Aufnahme 
auszugestalten, da die im Inf rarotbereich empfindliche Kamera 

15 K, die vom Projektor angezeigte Benutzeroberflache BOF nicht 
aufnimmt. Die im sichtbaren Spektralbereich projizierte 
Information ftlr den Benutzer ist somit fttr die Auswertung der 
Eingabe mittels der Kamera K durch den Rechner R unsichtbar. 
Es kommt also zu keinen stdrenden Einflttssen durch die 

20 Projektion. Die Information Uber das Feld F, das vom 

Projektor P im sichtbaren Bereich exklusiv ftlr den Benutzer 
angezeigt wird, von der Kamera K jedoch nicht erfaflt wird, 
wird durch relative Positionierung innerhalb der 
Benutzeroberflache BOF gefunden. 

25 

Urn sicherzustellen, dafl der Projektor P ftir die Kamera K ein 
unsichtbares Bild liefert, kann der Projektor P zusatzlich 
mit einem Inf rarot-Sperrf ilter ausgertistet sein. Somit wird 
vom Projektor keinerlei infrarote Strahlung emittiert. Ein 
30 spezielles Inf rarotf ilter IRF vor der Kamera K bewirkt, dafi 

nur infrarote Strahlung in der speziellen Wellenlange der von 
der infraroten Lichtquelle IRL emittierten Strahlung erfaflt 
wird. 
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Im Rahmen dieses Dokuments wurden folgende Verof f entlichungen 
zitiert : 

[1] Gestenerkennung, z.B. 
DE 195 16 664 CI 

[2] Projektion mit Gestenbedienung und Auswertung im 
sichtbaren Bereich 
US-Patent 5,528,263 

[3] P. Wellner: The DigitalDesk Calculator: Tangible 
Manipulation on a Desk Top Display, Proc. of the 
UIST'91, 11.-13.11.1991, Seiten 27-33. 
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Patentanspruche 

1. Anordnung zur Detektion eines Objekts in einem von Wellen 
im nichtsichtbaren Spektralbereich angestrahlten Bereich, 
5 a) mit einem Projektor, der derart eingerichtet ist, dafi 

ein Videobild auf den Bereich projizierbar ist, 

b) mit einer Empf angseinrichtung, die derart eingerichtet 
ist, dafi sie dem angestrahlten Bereich aufnimmt, 

c) bei der ein Rechner vorgesehen ist, der derart 

10 eingerichtet ist, dafi von einem Objekt reflektierte 

Wellen von sichtbaren ref lektierten Wellen mit Hilfe 
eines Erkennungsalgorithmus unterscheidbar sind, 

d) bei der der Erkennungsalgorithmus das Objekt 
detektiert . 

15 

2. Anordnung nach Anspruch 1, 

bei der eine Einrichtung zur Emission von Wellen im 
nichtsichtbaren Spektralbereich mindestens eine Infrarot- 
Lichtquelle umfafit und bei der die Empf angseinrichtung 
20 mindestens eine Kamera ist. 

3. Anordnung nach Anspruch 2, 

bei der die Inf rarot-Lichtquelle eine der folgenden 
Komponenten ist : 
25 a) eine Inf rarot-Leuchtdiode ( Inf rarot-LED) , 

b) eine Gliihbirne mit Inf rarot-Filter . 

4. Anordnung nach Anspruch 3, 

bei der die Kamera ein Filter, das nur flir Inf rarot-Licht 
30 durchl&ssig ist, aufweist. 

5. Anordnung nach Anspruch 4, 

bei der das Filter der Kamera, nur ftlr den 
Spektralbereich der Inf rarot-Leuchtdioden durchl&ssig 
35 ist. 



WO 98/38533 PCT/DE98/00368 



6, Anordnung nach einem der Ansprtlche 1 bis 5, 

bei der das vorgebbare Gebiet von unten mit Infrarot- 
Licht durchleuchtet wird, wobei im sichtbaren 
Spektralbereich die Pro jektionsoberf lache ref lektierend 
5 und im Inf rarot-Spektralbereich durchlassig ausgeftihrt 

ist . 

7. Anordnung nach Anspruch 1, 

bei der eine Einrichtung zur Emission von Wellen im 
10 nichtsichtbaren Spektralbereich mindestens ein Mittel zur 

Emission von ultravioletter Strahlung umfafit und bei der 
die Empf angseinrichtung mindestens ein Empfanger fur 
ultraviolette Strahlung ist, 

15 8. Anordnung nach Anspruch 1, 

bei der eine Einrichtung zur Emission von Wellen im 
nichtsichtbaren Spektralbereich mindestens ein Mittel zur 
Emission von Ultraschall umfafit und bei der die 
Empf angseinrichtung mindestens ein Empfanger fUr 

20 Ultraschall ist. 

9. Anordnung nach einem der vorhergehenden Ansprtiche, 

bei der sowohl die den Bereich anstrahlenden Wellen als 
auch die Empf angseinrichtung (Kamera) auf einer optischen 
25 Achse liegen. 

10. Anordnung nach einem der vorhergehenden Ansprtiche, 
bei der auf dem Bereich mindestens eine der folgende 
Oberflachen angebracht ist: 

30 a) Ref lexgewebe, 

b) Reflexfilme, 

c) spezielles Gewebe mit prismenbeschichteter Oberf lache. 



35 



11. 



Verfahren zur Detektion eines Objekts in einem von Wellen 
im nichtsichtbaren Spektralbereich angestrahlten Bereich, 
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a) bei dem in den Bereich ein Videobild, das uber 
mindestens ein Feld mit einer Kontrollcharakteristik 
verfugt, generiert wird von einem Rechner und auf ein 
vorgebbares Gebiet projiziert wird, 

b) bei dem das Objekt in den Bereich bewegt wird, 

c) bei dem durch das Objekt die Kontrollcharakteristik 
eines Feldes ausgelost wird, indent das Objekt fiir eine 
vorgebbare Zeitdauer auf dem Feld verharrt. 

12. Verfahren nach Anspruch 11, 

bei dem das Objekt ein Finger ist mit dem die 
Kontrollcharakteristik des Feldes ausgelost wird. 

13. Verfahren nach Anspruch 11 oder 12, 

bei mit dem Objekt ein Mauszeiger assoziiert wird, der 
durch Bewegung des Fingers uber das projizierte Gebiet 
bewegt wird. 

14. Verfahren nach einem der Ansprttche 11 bis 13, 

bei dem das vorgebbare Gebiet durch eine Leinwand 
ausgefiihrt ist. 

15. Verfahren nach einem der Ansprttche 11 bis 14, 
bei dem das Objekt zur Auslosung der 

Kontrollcharakteristik als Finger, Hand oder. Zeigestab 
ausgefUhrt ist. 
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